Recurrent Neural Network

RNN

recurrent 回帰

recursive 再帰

ややこしい

記事によっては逆だったりして辛い

本にもあるが、順電版型と異なり、内部の状態を持つらしい

これによって、時系列データを扱える

連続した文字列の手書き文字認識

音声認識

I should understand both structures not to mistake them.

ノード間の結合が配列に沿った有向グラフを形成する

時系列データに有効らしい

「回帰型ニューラルネットワーク」という用語は、類似した一般構造を持つ2つの広いネットワークのクラスを指し示すために見境なく使われる。

1つは有限インパルス、

もう1つは無限インパルスである。

どちらのネットワークのクラスも時間的な動的振る舞いを示す

有限インパルス回帰型ネットワークは

厳密な順伝播型ニューラルネットワークに展開でき、置き換えることができる

有向非巡回グラフであるのに対して、

無限インパルス回帰型ネットワークは

展開できない有向巡回グラフである。

有限インパルスと無限インパルス回帰型ネットワークは

どちらも追加の保管状態を持つことができ、

この保管場所はニューラルネットワークによる直接的な制御下とすることができる。

保管場所は他のネットワークやグラフが時間遅延を取り込むか、フィードバックループを持つのであれば、それらで置き換えることもできる。

こういった制御された状態はゲート状態またはゲート記憶と呼ばれ、長・短期記憶ネットワーク（LSTMs）およびゲート付き回帰型ユニット（GRUs）の一部である。